（原作：MSRA刘铁岩著《分布式机器学习：算法、理论与实践》。这一部分叙述很清晰，适合用于系统整理NN知识） 线性模型 线性模型是最简单的，也是最基本的机器学习模型。其数学形式如下：g(X; ...

（本文为原创学习笔记，主要参考《模式识别（第三版）》（张学工著，清华大学出版社出版）） 1.概念 将分类看做决策，进行贝叶斯决策时考虑各类的先验概率和类条件概率，也即后验概率。考虑先验概率意味着对 ...

Pytorch中的BatchNorm的API主要有： 一般来说pytorch中的模型都是继承nn.Module类的，都有一个属性trainning指定是否是训练状态，训练状态与否将会影 ...

PyTorch provides 2 kinds of Softmax class. The one is applying softmax along a certain dimension. Th ...

[ 今天最开心的事情！ ] PyTorch的stable版本更新为1.0之后，原本3D模型无脑out of memory、3D模型torch.backends.cudnn.benchmark必须Fa ...

CVPR2019 1、An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Act ...

这篇论文MIT和FAIR的工作，主要是提出了一种mixup的方式。（感觉是一种产生hard sample的方法，是一种新的、更有效的数据增强。） 1 Introduction 大网络需要大数据，目 ...

（转载自知乎用户@花花） ...

( 这篇博文为原创，如需转载本文请email我： leizhao.mail@qq.com, 并注明来源链接，THX！) 本文主要分享了一篇来自CVPR 2018的论文，A Closer Loo ...

在深度学习训练中，我们经常遇到 GPU 的内存太小的问题，如果我们的数据量比较大，别说大批量（large batch size）训练了，有时候甚至连一个训练样本都放不下。但是随机梯度下降（SGD）中， ...